We investigate the training and performance of generative adversarial networks using the Maximum Mean Discrepancy (MMD) as critic, termed MMD GANs. As our main theoretical contribution, we clarify the situation with bias in GAN loss functions raised by recent work: we show that gradient estimators used in the optimization process for both MMD GANs and Wasserstein GANs are unbiased, but learning a discriminator based on samples leads to biased gradients for the generator parameters. We also discuss the issue of kernel choice for the MMD critic, and characterize the kernel corresponding to the energy distance used for the Cramér GAN critic. Being an integral probability metric, the MMD benefits from training strategies recently developed for Wasserstein GANs. In experiments, the MMD GAN is able to employ a smaller critic network than the Wasserstein GAN, resulting in a simpler and faster-training algorithm with matching performance. We also propose an improved measure of GAN convergence, the Kernel Inception Distance, and show how to use it to dynamically adapt learning rates during GAN training.
translated by 谷歌翻译
本文介绍了亚当·米基维奇大学(Adam Mickiewicz University)(AMU)提交的《 WMT 2022一般MT任务》的踪迹。我们参加了乌克兰$ \ leftrightarrow $捷克翻译指示。这些系统是基于变压器(大)体系结构的四个模型的加权合奏。模型使用源因素来利用输入中存在的命名实体的信息。合奏中的每个模型仅使用共享任务组织者提供的数据培训。一种嘈杂的反向翻译技术用于增强培训语料库。合奏中的模型之一是文档级模型,该模型在平行和合成的更长序列上训练。在句子级的解码过程中,集合生成了N最佳列表。 n-最佳列表与单个文档级模型生成的n-最佳列表合并,该列表一次翻译了多个句子。最后,使用现有的质量估计模型和最小贝叶斯风险解码来重新列出N最好的列表,因此根据彗星评估指标选择了最佳假设。根据自动评估结果,我们的系统在两个翻译方向上排名第一。
translated by 谷歌翻译
与经典的统计学习方法相比,机器和深度学习生存模型表现出相似甚至改进事件的预测能力,但太复杂了,无法被人类解释。有几种模型不合时宜的解释可以克服这个问题。但是,没有一个直接解释生存函数预测。在本文中,我们介绍了Survhap(t),这是第一个允许解释生存黑盒模型的解释。它基于Shapley添加性解释,其理论基础稳定,并在机器学习从业人员中广泛采用。拟议的方法旨在增强精确诊断和支持领域的专家做出决策。关于合成和医学数据的实验证实,survhap(t)可以检测具有时间依赖性效果的变量,并且其聚集是对变量对预测的重要性的决定因素,而不是存活。 survhap(t)是模型不可屈服的,可以应用于具有功能输出的所有型号。我们在http://github.com/mi2datalab/survshap中提供了python中时间相关解释的可访问实现。
translated by 谷歌翻译
内核Stein差异(KSD)是一种基于内核的广泛使用概率指标之间差异的非参数量度。它通常在用户从候选概率度量中收集的样本集合的情况下使用,并希望将它们与指定的目标概率度量进行比较。 KSD的一个有用属性是,它可以仅从候选度量的样本中计算出来,并且不知道目标度量的正常化常数。 KSD已用于一系列设置,包括合适的测试,参数推断,MCMC输出评估和生成建模。当前KSD方法论的两个主要问题是(i)超出有限维度欧几里得环境之外的适用性以及(ii)缺乏影响KSD性能的清晰度。本文提供了KSD的新频谱表示,这两种补救措施都使KSD适用于希尔伯特(Hilbert)评估数据,并揭示了内核和Stein oterator Choice对KSD的影响。我们通过在许多合成数据实验中对各种高斯和非高斯功能模型进行拟合优度测试来证明所提出的方法的功效。
translated by 谷歌翻译